Optimal complexity and certification of Bregman first-order methods
نویسندگان
چکیده
We provide a lower bound showing that the O(1/k) convergence rate of NoLips method (a.k.a. Bregman Gradient or Mirror Descent) is optimal for class problems satisfying relative smoothness assumption. This assumption appeared in recent developments around method, where acceleration remained an open issue. The main inspiration behind this stems from extension performance estimation framework Drori and Teboulle (Mathematical Programming, 2014) to first-order methods. technique allows computing worst-case scenarios context relatively-smooth minimization. In particular, we used numerically generated examples as basis obtaining general bound.
منابع مشابه
the effect of task complexity on lexical complexity and grammatical accuracy of efl learners’ argumentative writing
بر اساس فرضیه شناخت رابینسون (2001 و 2003 و 2005) و مدل ظرفیت توجه محدود اسکهان (1998)، این تحقیق تاثیر پیچیدگی تکلیف را بر پیچیدگی واژگان و صحت گرامری نوشتار مباحثه ای 60 نفر از دانشجویان زبان انگلیسی بررسی کرد. میزان پیچیدگی تکلیف از طریق فاکتورهای پراکندگی-منابع تعیین شد. همه ی شرکت کنندگان به صورت نیمه تصادفی به یکی از سه گروه: (1) گروه موضوع، (2) گروه موضوع + اندیشه و (3) گروه موضوع + اندی...
15 صفحه اولIteration-complexity of first-order penalty methods for convex programming
This paper considers a special but broad class of convex programming (CP) problems whose feasible region is a simple compact convex set intersected with the inverse image of a closed convex cone under an affine transformation. It studies the computational complexity of quadratic penalty based methods for solving the above class of problems. An iteration of these methods, which is simply an iter...
متن کاملAn acceleration procedure for optimal first-order methods
We introduce in this paper an optimal first-order method that allows an easy and cheap evaluation of the local Lipschitz constant of the objective’s gradient. This constant must ideally be chosen at every iteration as small as possible, while serving in an indispensable upper bound for the value of the objective function. In the previously existing variants of optimal first-order methods, this ...
متن کاملHigher-Order TV Methods - Enhancement via Bregman Iteration
In this work we analyze and compare two recent variational models for image denoising and improve their reconstructions by applying a Bregman iteration strategy. One of the standard techniques in image denoising, the ROF-model (cf. Rudin et al. in Physica D 60:259–268, 1992), is well known for recovering sharp edges of a signal or image, but also for producing staircase-like artifacts. In order...
متن کاملasymptotic property of order statistics and sample quntile
چکیده: فرض کنید که تابعی از اپسیلون یک مجموع نامتناهی از احتمالات موزون مربوط به مجموع های جزئی براساس یک دنباله از متغیرهای تصادفی مستقل و همتوزیع باشد، و همچنین فرض کنید توابعی مانند g و h وجود دارند که هرگاه امید ریاضی توان دوم x متناهی و امیدریاضی x صفر باشد، در این صورت می توان حد حاصلضرب این توابع را بصورت تابعی از امید ریاضی توان دوم x نوشت. حالت عکس نیز برقرار است. همچنین ما با استفاده...
15 صفحه اولذخیره در منابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
ژورنال
عنوان ژورنال: Mathematical Programming
سال: 2021
ISSN: ['0025-5610', '1436-4646']
DOI: https://doi.org/10.1007/s10107-021-01618-1